Learning Coordinated Preference for Multi-Objective Multi-Agent Reinforcement Learning
面向多目标多智能体强化学习的协调偏好学习
🧭 多智能体多目标偏好协调学习 ★ 深度解读
University of Arizona
通过让智能体学习协调的个性化偏好向量，实现团队角色分工和帕累托前沿覆盖，提升多目标多智能体协作性能
📌 工作参考价值（4 点）
- 多智能体协作系统可借鉴“个性化偏好分工”思路：不让所有 Agent 共享相同的目标权重，而是为每个 Agent 学习专属的偏好向量，促进角色分化（如一个侧重效率，另一个侧重安全），从而在整体目标上获得协同增益。这在推荐系统的多召回通道、多目标排序模型的协同中值得尝试。
- 偏好的学习可建模为隐变量协调：使用基于 Dirichlet 分布的随机偏好规划器根据局部观测采样偏好，再输入偏好条件策略执行动作；训练时通过团队优势信号和多样性正则项更新规划器，实现端到端的偏好协调。这一机制可迁移到多 Agent 推荐或广告竞价场景，让不同 Agent 自适应地关注不同指标。
- 偏好多样性正则项（最大化 Agent 间偏好分布的 pairwise 距离）可防止所有 Agent 偏好坍缩至相同方向，强制形成互补的分工；在工程上，这类似于在多个策略网络间引入差异化约束，提升整体系统的鲁棒性。
- 理论分析表明偏好多样性能够为团队目标带来一阶增量改善，这意味着在设计多目标多智能体系统时，可以优先考虑在偏好空间中增加多样性作为廉价的性能提升手段。